home *** CD-ROM | disk | FTP | other *** search
/ Chip 1998 September / CHIP Eylül 1998.iso / Slackwar / docs / Root-RAID-HOWTO < prev    next >
Encoding:
Text File  |  1997-02-23  |  50.6 KB  |  1,343 lines
  1.   Root RAID HOWTO cookbook
  2.   Michael A. Robinton, michael@bzs.org <mailto:michael@bzs.org>
  3.   v1.06, 12 February 1998
  4.  
  5.   This document provides a cookbook for creating a root mounted raid
  6.   filesystem and companion fallback rescue system using linux initrd.
  7.   There are complete step-by-step instruction for a raid1 md0 device.
  8.   Each step is accompanied by an explanation of it's purpose.  This pro¡
  9.   cedure may be used for all the other raid structures with minor modi¡
  10.   fications.
  11.  
  12.   1.  Introduction
  13.  
  14.   The reader is assumed to be familiar with the various types of raid
  15.   implementations, their advantages and drawbacks. This is not a
  16.   tutorial, just a set of instructions on how to implement root mounted
  17.   raid on a linux system. All of the information necessary to become
  18.   familiar with linux raid is listed here directly or by reference,
  19.   please read it before send e-mail questions.
  20.  
  21.   1.1.  Where to get Up-to-date copies of this document.
  22.  
  23.   Root-RAID-HOWTO
  24.  
  25.   Available in LaTeX (for DVI and PostScript), plain text, and HTML.
  26.  
  27.        sunsite.unc.edu/mdw/HOWTO/
  28.        <http://sunsite.unc.edu/mdw/HOWTO/>
  29.  
  30.   Available in SGML and HTML.
  31.  
  32.        ftp.bizsystems.com/pub/raid/
  33.        <ftp://ftp.bizsystems.com/pub/raid/>
  34.  
  35.   1.2.  Bugs
  36.  
  37.   As of this writing, the problem of stopping a root mounted RAID device
  38.   has not yet been solved in a satisfactory way.  A work-around proposed
  39.   by Ed Welbon and implemented by Bohumil Chalupa is incorporated into
  40.   this document which eliminates the need for a long ckraid at each boot
  41.   for raid1 and raid5 devices. Without the workaround, it is necessary
  42.   to ckraid the md device each time the system is re-booted. On a large
  43.   array this can cause a severe availability performance degradation.
  44.   On my 6 gig RAID1 device running on a Pentium 166 with 128 megs of
  45.   ram, it takes well over half an hour to ckraid :-( after each re-boot.
  46.  
  47.   The workaround stores the status of the array at shutdown on the real
  48.   boot device and compares it to a reference status placed there when
  49.   the system is first built. If the status's match at reboot, the
  50.   superblock on the array is rebuilt on the next boot, otherwise the
  51.   operator is notified of the status error and the rescue system is left
  52.   running with all the raid tools available.
  53.  
  54.   Rebuilding the superblock causes the system to ignore that the array
  55.   was powered down without mdstop by marking all the drives as OK, as if
  56.   nothing happened. This only works if all the drives are OK at
  57.   shutdown. If the array was operating with a bad drive, the operator
  58.   must remove the bad drive prior to restarting the md device or the
  59.   data can be corrupted.
  60.  
  61.   None of this applies to raid0 which does not have to be mdstopped
  62.   before shutdown.
  63.   Final proposed solutions to this problem include a finalrd similar to
  64.   initrd, and mdrootstop which writes the clean flags to the array
  65.   during  shutdown when it is mounted read only. I am sure there are
  66.   others.
  67.  
  68.   In the mean time, the problem has been by-passed for now Please let me
  69.   know when this problem is solved more cleanly!!!
  70.  
  71.   1.3.  Acknowledgements
  72.  
  73.   The writings and e-mail from the following individuals helped to make
  74.   this document possible.  Many of the ideas were stolen from the
  75.   helpful work of others, I have just tried to put it all in COOKBOOK
  76.   form so that it is straightforward to use. My thanks to:
  77.  
  78.   ╖  Linas Vepstas <mailto:linas@linas.org>
  79.       for the RAID howto that explained most of this to me.
  80.  
  81.   ╖  Gadi Oxman <mailto:gadio@netvision.net.il>
  82.       for answering my dumb 'newbie' questions.
  83.  
  84.   ╖  Ed Welbon <mailto:welbon@bga.com>
  85.       for the execellent initrd.md package that inspired me to write
  86.      this.
  87.  
  88.   ╖  Bohumil Chalupa <mailto:bochal@apollo.karlov.mff.cuni.cz>  for
  89.      implementing the re-boot 'workaround' that allows root-mounted-raid
  90.      to work in a production environment.
  91.  
  92.   ╖  and many others who contributed to this work in one way or another.
  93.  
  94.   1.4.  Copyright Notice
  95.  
  96.   This document is GNU copyleft by Michael Robinton michael@bzs.org
  97.   <mailto:michael@bzs.org>.
  98.  
  99.   Permission to use, copy, distribute this document for any purpose is
  100.   hereby granted, provided that the author's / editor's name and this
  101.   notice appear in all copies and/or supporting documents; and that an
  102.   unmodified version of this document is made freely available.  This
  103.   document is distributed in the hope that it will be useful, but
  104.   WITHOUT ANY WARRANTY, either expressed or implied.  While every effort
  105.   has been taken to ensure the accuracy of the information documented
  106.   herein, the author / editor / maintainer assumes NO RESPONSIBILITY for
  107.   any errors, or for any damages, direct or consequential, as a result
  108.   of the use of the information documented herein.
  109.  
  110.   2.  What you need BEFORE YOU START
  111.  
  112.   The packages you need and the documentation that answers the most
  113.   common questions about setting up and running raid are listed below.
  114.   Please review them throughly.
  115.  
  116.   2.1.  Required Packages
  117.  
  118.   You need to obtain the most recent versions of these packages.
  119.  
  120.   ╖  a linux kernel that supports raid, initrd and /dev/loopx
  121.  
  122.        I used linux-2.0.32
  123.        <ftp://sunsite.unc.edu/pub/Linux/kernel/> from sunsite
  124.   ╖  raid145-971022-2.0.31
  125.      <ftp://ftp.kernel.org/pub/linux/daemons/raid/> patch adds support
  126.      for raid1/4/5
  127.  
  128.   ╖  raidtools-pre3-0.42 <ftp://ftp.kernel.org/pub/linux/daemons/raid/>
  129.      tools to create and maintain raid devices (documentation too).
  130.  
  131.   ╖  linuxthreads-0.71
  132.      <ftp://ftp.inria.fr/INRIA/Projects/cristal/Xavier.Leroy> required
  133.      threads package. Use ftp, browser doesn't work
  134.      ftp.inria.fr/INRIA/Projects/cristal/Xavier.Leroy
  135.  
  136.   ╖  A Linux distribution, ready to install.
  137.  
  138.        I used Slackware-3.4 <ftp://ftp.cdrom.com/pub/linux> avail¡
  139.        able everywhere.
  140.  
  141.   The detailed instructions in this document are based on the above
  142.   packages.  If the packages have been updated or you use a different
  143.   linux distribution, you may have to modify the procedures you find
  144.   here.
  145.  
  146.   The patches, tool assortment, etc... may vary with 2.1 kernels.
  147.   Please check the most recent documentation at:
  148.  
  149.        ftp.kernel.org/pub/linux/daemons/raid/
  150.        <ftp://ftp.kernel.org/pub/linux/daemons/raid/>
  151.  
  152.   2.2.  Other similar implementations.
  153.  
  154.   I chose to include in the kernel all of the pieces necessary to run
  155.   from boot without loading any modules.  My kernel image is a little
  156.   over 300k compressed.
  157.  
  158.   Take a look at Ed Welbon's <mailto:welbon@bga.com> initrd.md.tar.gz
  159.   for another way to make a bootable raid device.  He uses loadable
  160.   modules.  A look at his concise scripts will show you how it is done
  161.   if you need a very small kernel with modules.
  162.  
  163.        http://www.realtime.net/~welbon/initrd.md.tar.gz
  164.        <http://www.realtime.net/~welbon/initrd.md.tar.gz>
  165.  
  166.   2.3.  Documentation -- Recommended Reading
  167.  
  168.   Please read:
  169.  
  170.        /usr/src/linux/Documentation/initrd.txt
  171.  
  172.   as well as the documentation and man pages that accompany the
  173.   raidtools set. In particular, read man mdadd as well as the
  174.   QuickStart.RAID document included in the raidtools package.
  175.  
  176.   2.4.  RAID resources
  177.  
  178.   ╖  sunsite.unc.edu/mdw/HOWTO/mini/Software-RAID
  179.      <http://sunsite.unc.edu/mdw/HOWTO/mini/Software-RAID>
  180.  
  181.   ╖  www.ssc.com/lg/issue17/raid.html
  182.      <http://www.ssc.com/lg/issue17/raid.html>
  183.  
  184.   ╖  linas.org/linux/raid.html <http://linas.org/linux/raid.html>
  185.  
  186.   ╖  ftp.kernel.org/pub/linux/daemons/raid/
  187.      <ftp://ftp.kernel.org/pub/linux/daemons/raid/>
  188.  
  189.   ╖  www.realtime.net/~welbon/initrd.md.tar.gz
  190.      <http://www.realtime.net/~welbon/initrd.md.tar.gz>
  191.  
  192.   ╖  luthien.nuclecu.unam.mx/~miguel/raid/
  193.      <http://luthien.nuclecu.unam.mx/~miguel/raid/>
  194.  
  195.      Mailing lists can be joined at:
  196.  
  197.   ╖  majordomo@nuclecu.unam.mx <mailto:majordomo@nuclecu.unam.mx> send a
  198.      message to subscribe raiddev
  199.  
  200.      send mail to: raiddev@nuclecu.unam.mx
  201.      <mailto:raiddev@nuclecu.unam.mx>
  202.  
  203.   ╖  majordomo@vger.rutgers.edu <mailto:majordomo@vger.rutgers.edu> send
  204.      a message to subscribe linux-raid
  205.  
  206.      send mail to: linux-raid@vger.rutgers.edu <mailto:linux-
  207.      raid@vger.rutgers.edu> (this seems to be the most active list)
  208.  
  209.   3.  initrd Cookbook for root mounted RAID
  210.  
  211.   This is the procedure to make an 'initrd' ramdisk with rescue tools
  212.   for raid.
  213.  
  214.   Specifically, this document referrs to a RAID1 implementation, however
  215.   it is generally applicable to any raid scheme with a root mounted raid
  216.   device.
  217.  
  218.   3.1.  Security Reminder
  219.  
  220.   The rescue file system may be used stand alone. Should your raid array
  221.   fail to mount, you are left with the rescue system mounted and
  222.   running.  TAKE THE APPROPRIATE SECURITY PRECAUTIONS!!!
  223.  
  224.   3.2.  Build the Kernel and Raid Tools
  225.  
  226.   The first thing that must be done is to patch and build your kernel
  227.   and become familiar with the raid tools.  Configure, mount and test
  228.   your raid device(s). The details of how to do this are included in the
  229.   raidtools package and briefly reviewed later in this document.
  230.  
  231.   3.3.  Build the initrd Rescue and Boot filesystem
  232.  
  233.   I used the Slackware-3.4 distribution to build both the Rescue/Boot
  234.   filesystem and the filesystem for the production machine. Any linux
  235.   distribution should work fine. If you use a different distribution,
  236.   review the Slackware specific portion of this procedure and modify it
  237.   to suit your needs.
  238.  
  239.   You can download the Slackware distribution from:
  240.  
  241.        ftp.cdrom.com/pub/linux/ <ftp://ftp.cdrom.com/pub/linux/>
  242.  
  243.   If you already have Slackware, you only need to download new
  244.  
  245.   I use loadlin to boot the kernel image and ramdisk from a dos
  246.   partition.  I chose to create a minimum ramdisk system using the
  247.   Slackware 'setup' script followed by installing the 'linuxthreads'
  248.   package and 'raidtools' over the clean Slackware installation on my
  249.   ramdisk. I used the identical procedure to build the production
  250.   system. So the rescue and production systems are very similar.
  251.  
  252.   This installation process gives me a 'bare' system (save a copy of the
  253.   file) to which I overlay
  254.  
  255.           /lib/modules/2.x.x......
  256.           /etc .... with a modified fstab
  257.           /etc/rc.d
  258.           /dev/md*
  259.  
  260.   from my current system to customize it for the particular kernel and
  261.   machine that it is/will-be running on.
  262.  
  263.   This makes the boot/rescue system the same system that is running on
  264.   the root mounted raid device, just skinnyed down a bit, while allowing
  265.   the library, etc... revisions to always be current.
  266.  
  267.   3.4.  Start the STEP by STEP instructions
  268.  
  269.   From the root home directory (/root):
  270.  
  271.           cd /root
  272.           mkdir raidboot
  273.           cd raidboot
  274.  
  275.   Create a mountpoints to work on
  276.  
  277.           mkdir mnt
  278.           mkdir mnt2
  279.  
  280.   Make a file large enough to do the file system install. This will be a
  281.   lot larger than the final rescue file system.  I chose 24 megs since
  282.   16 megs is not large enough
  283.  
  284.           dd if=/dev/zero of=build bs=1024k count=24
  285.  
  286.   associate the file with a loop device and generate an ext2 file system
  287.   on the file
  288.  
  289.           losetup /dev/loop0 build
  290.           mke2fs -v -m0 -L initrd /dev/loop0
  291.           mount /dev/loop0 mnt
  292.  
  293.   3.5.  Install the distribution - Slackware Specific
  294.  
  295.   ``...skip Slackware Specific stuff'' and go to next section.
  296.  
  297.   Now that an empty filesystem is created and mounted, run "setup".
  298.  
  299.   Specify         /root/raidboot/mnt
  300.  
  301.   as the 'target'.  The source is whatever you normally install from.
  302.   Select the packages you wish to install and proceed but DO NOT
  303.   configure.
  304.  
  305.   Choose 'EXPERT' prompting mode.
  306.  
  307.   I chose 'A', 'AP, and 'N' installing only the minimum to run the
  308.   system plus an editor I am familiar with (vi, jed, joe) that is
  309.   reasonably compact.
  310.  
  311.   lqqqqqqqq SELECTING PACKAGES FROM SERIES A (BASE LINUX SYSTEM) qqqqqqqqk
  312.   x lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x
  313.   x x   [X] aaa_base  Basic filesystem, shell, and utils - REQUIRED    x x
  314.   x x   [X] bash      GNU bash-1.14.7 shell - REQUIRED                 x x
  315.   x x   [X] devs      Device files found in /dev - REQUIRED            x x
  316.   x x   [X] etc       System config files & utilities - REQUIRED       x x
  317.   x x   [X] shadow    Shadow password suite - REQUIRED                 x x
  318.   x x   [ ] ide       Linux 2.0.30 no SCSI (YOU NEED 1 KERNEL)         x x
  319.   x x   [ ] scsi      Linux 2.0.30 with SCSI (YOU NEED 1 KERNEL)       x x
  320.   x x   [ ] modules   Modular Linux device drivers                     x x
  321.   x x   [ ] scsimods  Loadable SCSI device drivers                     x x
  322.   x x   [X] hdsetup   Slackware setup scripts - REQUIRED               x x
  323.   x x   [ ] lilo      Boots Linux (not UMSDOS), DOS, OS/2, etc.        x x
  324.   x x   [ ] bsdlpr    BSD lpr - printer spooling system                x x
  325.   x x   [ ] loadlin   Boots Linux (UMSDOS too!) from MS-DOS            x x
  326.   x x   [ ] pnp       Plug'n'Play configuration tool                   x x
  327.   x x   [ ] umsprogs  Utilities needed to use the UMSDOS filesystem    x x
  328.   x x   [X] sysvinit  System V-like INIT programs - REQUIRED           x x
  329.   x x   [X] bin       GNU fileutils 3.12, elvis, etc. - REQUIRED       x x
  330.   x x   [X] ldso      Dynamic linker/loader - REQUIRED                 x x
  331.   x x   [ ] ibcs2     Runs SCO/SysVr4 binaries                         x x
  332.   x x   [X] less      A text pager utility - REQUIRED                  x x
  333.   x x   [ ] pcmcia    PCMCIA card services support                     x x
  334.   x x   [ ] getty     Getty_ps 2.0.7e - OPTIONAL                       x x
  335.   x x   [X] gzip      The GNU zip compression - REQUIRED               x x
  336.   x x   [X] ps        Displays process info - REQUIRED                 x x
  337.   x x   [X] aoutlibs  a.out shared libs - RECOMMENDED                  x x
  338.   x x   [X] elflibs   The ELF shared C libraries - REQUIRED            x x
  339.   x x   [X] util      Util-linux utilities - REQUIRED                  x x
  340.   x x   [ ] minicom   Serial transfer and modem comm package           x x
  341.   x x   [ ] cpio      The GNU cpio backup/archiving utility            x x
  342.   x x   [X] e2fsbn    Utilities for the ext2 file system               x x
  343.   x x   [X] find      GNU findutils 4.1                                x x
  344.   x x   [X] grep      GNU grep 2.0                                     x x
  345.   x x   [ ] kbd       Change keyboard mappings                         x x
  346.   x x   [X] gpm       Cut and paste text with your mouse               x x
  347.   x x   [X] sh_utils  GNU sh-utils 1.16 - REQUIRED                     x x
  348.   x x   [X] sysklogd  Logs system and kernel messages                  x x
  349.   x x   [X] tar       GNU tar 1.12 - REQUIRED                          x x
  350.   x x   [ ] tcsh      Extended C shell version 6.07                    x x
  351.   x x   [X] txtutils  GNU textutils-1.22 - REQUIRED                    x x
  352.   x x   [ ] zoneinfo  Configures your time zone                        x x
  353.   x mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj x
  354.  
  355.   From the 'AP series, I use only 'JOE', and editor I like, and 'MC' a
  356.   small and useful file management tool. You choose the utilities you
  357.   will need on your system.
  358.  
  359.   lqqqqqqqqq SELECTING PACKAGES FROM SERIES AP (APPLICATIONS) qqqqqqqqqk
  360.   x x     [ ] ispell    The International version of ispell          x x
  361.   x x     [ ] jove      Jonathan's Own Version of Emacs text editor  x x
  362.   x x     [ ] manpgs    More man pages (online documentation)        x x
  363.   x x     [ ] diff      GNU diffutils                                x x
  364.   x x     [ ] sudo      Allow special users limited root access      x x
  365.   x x     [ ] ghostscr  GNU Ghostscript version 3.33                 x x
  366.   x x     [ ] gsfonts1  Ghostscript fonts (part one)                 x x
  367.   x x     [ ] gsfonts2  Ghostscript fonts (part two)                 x x
  368.   x x     [ ] gsfonts3  Ghostscript fonts (part three)               x x
  369.   x x     [ ] jed       JED programmer's editor                      x x
  370.   x x     [X] joe       joe text editor, version 2.8                 x x
  371.   x x     [ ] jpeg      JPEG image compression utilities             x x
  372.   x x     [ ] bc        GNU bc - arbitrary precision math language   x x
  373.   x x     [ ] workbone  a text-based audio CD player                 x x
  374.   x x     [X] mc        The Midnight Commander file manager          x x
  375.   x x     [ ] mt_st     mt ported from BSD - controls tape drive     x x
  376.   x x     [ ] groff     GNU troff document formatting system         x x
  377.   x x     [ ] quota     User disk quota utilities                    x x
  378.   x x     [ ] sc        The 'sc' spreadsheet                         x x
  379.   x x     [ ] texinfo   GNU texinfo documentation system             x x
  380.   x x     [ ] vim       Improved vi clone                            x x
  381.   x x     [ ] ash       A small /bin/sh type shell - 62K             x x
  382.   x x     [ ] zsh       Zsh - a custom *nix shell                    x x
  383.   x mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj x
  384.  
  385.   From the 'N' package I only loaded TCPIP.  This isn't really neces¡
  386.   sary, but is very handy and allows access to the network while working
  387.   on a repair or update with the root raid array dismounted. TCPIP also
  388.   contains 'biff' which is used by some of the applications in 'A'. If
  389.   you don't install 'N' you might want to install the biff package any¡
  390.   way.
  391.  
  392.   lqqqq SELECTING PACKAGES FROM SERIES N (NETWORK/NEWS/MAIL/UUCP) qqqqqk
  393.   x lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x
  394.   x x    [ ] apache    Apache WWW (HTTP) server                      x x
  395.   x x    [ ] procmail  Mail delivery/filtering utility               x x
  396.   x x    [ ] dip       Handles SLIP/CSLIP connections                x x
  397.   x x    [ ] ppp       Point-to-point protocol                       x x
  398.   x x    [ ] mailx     The mailx mailer                              x x
  399.   x x    [X] tcpip     TCP/IP networking programs                    x x
  400.   x x    [ ] bind      Berkeley Internet Name Domain server          x x
  401.   x x    [ ] rdist     Remote file distribution utility              x x
  402.   x x    [ ] lynx      Text-based World Wide Web browser             x x
  403.   x x    [ ] uucp      Taylor UUCP 1.06.1 with HDB && Taylor configs x x
  404.   x x    [ ] elm       Menu-driven user mail program                 x x
  405.   x x    [ ] pine      Pine menu-driven mail program                 x x
  406.   x x    [ ] sendmail  The sendmail mail transport agent             x x
  407.   x x    [ ] metamail  Metamail multimedia mail extensions           x x
  408.   x x    [ ] smailcfg  Extra configuration files for sendmail        x x
  409.   x x    [ ] cnews     Spools and transmits Usenet news              x x
  410.   x x    [ ] inn       InterNetNews news transport system            x x
  411.   x x    [ ] tin       The 'tin' news reader (local or NNTP)         x x
  412.   x x    [ ] trn       'trn' for /var/spool/news                     x x
  413.   x x    [ ] trn-nntp  'trn' for NNTP (install 1 'trn' maximum)      x x
  414.   x x    [ ] nn-spool  'nn' for /var/spool/news                      x x
  415.   x x    [ ] nn-nntp   'nn' for NNTP (install 1 'nn' maximum)        x x
  416.   x x    [ ] netpipes  Network pipe utilities                        x x
  417.   x mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj x
  418.  
  419.   With the installation complete, say no to everything else (no to all
  420.   configuration requests) and exit the script.
  421.  
  422.   3.6.  Install linux pthreads
  423.  
  424.   Now you must install the 'linuxthreads-0.71' library.  I have included
  425.   this diff for the linuxthreads Makefile rather than explain the
  426.   details of the installation by hand.  Save the original Makefile,
  427.   apply the diff and then:
  428.  
  429.           cd /usr/src/linuxthreads-0.71
  430.     patch
  431.           make
  432.           make install
  433.  
  434.   -------------------diff Makefile.old  Makefile.raid-----------------
  435.   2a3,13
  436.   > # If you are building "linuxthreads" for installation on a mount
  437.   > # point which is not the "root" partition, redefine 'BUILDIR' to
  438.   > # the mount point to use as the "root" directory
  439.   > # You may wish to do this if you are building an 'initial ram disk'
  440.   > # such as used with bootable root raid devices.
  441.   > # REQUIRES ldconfig version 1.9.5 or better
  442.   > # do ldconfig -v to check
  443.   > #
  444.   > BUILDIR=/root/raidboot/mnt
  445.   > #BUILDIR=
  446.   >
  447.   81,82c92,93
  448.   <       install pthread.h $(INCLUDEDIR)/pthread.h
  449.   <       install semaphore.h $(INCLUDEDIR)/semaphore.h
  450.   ---
  451.   >       install pthread.h $(BUILDIR)$(INCLUDEDIR)/pthread.h
  452.   >       install semaphore.h $(BUILDIR)$(INCLUDEDIR)/semaphore.h
  453.   84c95
  454.   <       test -f /usr/include/sched.h || install sched.h $(INCLUDEDIR)/sched.h
  455.   ---
  456.   >       test -f $(BUILDIR)/usr/include/sched.h || install sched.h $(BUILDIR)$(INCLUDEDIR)/sched.h
  457.   86,89c97,103
  458.   <       install $(LIB) $(LIBDIR)/$(LIB)
  459.   <       install $(SHLIB) $(SHAREDLIBDIR)/$(SHLIB)
  460.   <       rm -f $(LIBDIR)/$(SHLIB0)
  461.   <       ln -s $(SHAREDLIBDIR)/$(SHLIB) $(LIBDIR)/$(SHLIB0)
  462.   ---
  463.   >       install $(LIB) $(BUILDIR)$(LIBDIR)/$(LIB)
  464.   >       install $(SHLIB) $(BUILDIR)$(SHAREDLIBDIR)/$(SHLIB)
  465.   >       rm -f $(BUILDIR)$(LIBDIR)/$(SHLIB0)
  466.   >       ln -s $(SHAREDLIBDIR)/$(SHLIB) $(BUILDIR)$(LIBDIR)/$(SHLIB0)
  467.   > ifneq ($(BUILDIR),)
  468.   >       ldconfig -r ${BUILDIR} -n $(SHAREDLIBDIR)
  469.   > else
  470.   91c105,106
  471.   <       cd man; $(MAKE) MANDIR=$(MANDIR) install
  472.   ---
  473.   > endif
  474.   >       cd man; $(MAKE) MANDIR=$(BUILDIR)$(MANDIR) install
  475.  
  476.   3.7.  Install Raid Tools
  477.  
  478.   The next step is the installation of the raid tools.  raidtools-0.42
  479.  
  480.   You must run the "configure" script to point the Makefile at the build
  481.   directory for the ramdisk files
  482.  
  483.     cd /usr/src/raidtools-0.42
  484.     configure --sbindir=/root/raidboot/mnt/sbin --prefix=/root/raidboot/mnt/usr
  485.     make
  486.     make install
  487.  
  488.   Now!! the Makefile for install is not quite right so do the following
  489.   to clean up. This will be fixed in future releases so that the re-
  490.   linking will not be necessary.
  491.  
  492.        Fix the make install error
  493.  
  494.   The file links specified in the Makefile at 'LINKS' must be removed
  495.   and re-linked to operate properly.
  496.  
  497.           cd /root/raidboot/mnt/sbin
  498.           ln -fs mdadd mdrun
  499.           ln -fs mdadd mdstop
  500.  
  501.   3.8.  Remove un-needed directories and files from new filesystem.
  502.  
  503.   Delete the following directories from filesystem (CAUTION DON'T DELETE
  504.   FROM YOUR RUNNING SYSTEM) it's easy to do, guess how I found out!!!
  505.  
  506.           cd /root/raidboot/mnt
  507.           rm -r home/ftp/*
  508.           rm -r lost+found
  509.           rm -r usr/doc
  510.           rm -r usr/info
  511.           rm -r usr/local/man
  512.           rm -r usr/man
  513.           rm -r usr/openwin
  514.           rm -r usr/share/locale
  515.           rm -r usr/X*
  516.           rm -r var/man
  517.           rm -r var/log/packages
  518.           rm -r var/log/setup
  519.           rm -r var/log/disk_contents
  520.  
  521.   3.9.  Create /dev/mdx
  522.  
  523.   The last step simply copies the /dev/md* devices from the current file
  524.   system onto the rescue file system.  You could create these with
  525.   mknode.
  526.  
  527.           cp -a /dev/md* /root/raidboot/mnt/dev
  528.  
  529.   3.10.  Create a bare filesystem suitable for initrd
  530.  
  531.   Now you have a clean re-useable filesystem ready for customization.
  532.   Once customized, this file system can be used for rescue should the
  533.   raid device(s) become corrupted and the raid tools needed to fix them.
  534.   It will also be used to boot and root-mount the raid device by adding
  535.   the linuxrc file which will be discussed next.
  536.  
  537.   Copy the file system to a smaller device for the initrd file, 16 megs
  538.   should be large enough.
  539.  
  540.   Create the smaller file system and mount it
  541.  
  542.           cd /root/raidboot
  543.           dd if=/dev/zero of=bare.fs bs=1024k count=16
  544.  
  545.   associate the file with a loop device and generate a ext2 file system
  546.   on the file
  547.  
  548.           losetup /dev/loop1 bare.fs
  549.           mke2fs -v -m0 -L initrd /dev/loop1
  550.           mount /dev/loop1 mnt2
  551.  
  552.   Copy the 'build' file system to 'bare.fs'
  553.  
  554.           cp -a mnt/* mnt2
  555.  
  556.   Save the 'bare.fs' system before customization so later update is
  557.   easy.  The 'build' file system is no longer needed and may be deleted.
  558.  
  559.           cd /root/raidboot
  560.           umount mnt
  561.           umount mnt2
  562.           losetup -d /dev/loop0
  563.           losetup -d /dev/loop1
  564.           rm build
  565.           cp bare.fs rescue
  566.           gzip -9 bare.fs
  567.  
  568.   3.10.1.  Create the BOOT/RESCUE initrd filesystem
  569.  
  570.   Now copy the system dependent items that match the kernel from the
  571.   development platform, or you can manually modify the files in the
  572.   rescue file system to match your target system.
  573.  
  574.           losetup /dev/loop0 rescue
  575.           mount /dev/loop0 mnt
  576.  
  577.   Make sure your etc directory is clean of *~, core and log files.  The
  578.   next 2 commands creates some warning messages, ignore them.
  579.  
  580.           cp -dp /etc/* mnt/etc
  581.           cp -dp /etc/rc.d/* mnt/etc/rc.d
  582.  
  583.           mkdir  mnt/lib/modules
  584.           cp -a  /lib/modules/2.x.x mnt/lib/modules <--- your current 2.x.x
  585.  
  586.   Edit the following files to correct them for your rescue system.
  587.  
  588.           cd mnt
  589.  
  590.   Non-network
  591.           etc/fstab       comment out the mount of root and raid devices.
  592.           etc/mdtab       should work OK
  593.   Network
  594.           etc/hosts
  595.           etc/resolv.conf
  596.           etc/hosts.equiv         and related files
  597.           etc/rc.d/rc.inet1       correct ip#, mask, gateway, etc...
  598.           etc/rc.d/rc.S           remove entire section on file system status
  599.                   from:
  600.                           # Test to see if the root partition isread-only
  601.                   to but not including:
  602.                           # remove /etc/mtab* so that mount will .....
  603.                                   This avoids the annoying warning that
  604.                                   the ramdisk is mounted rw.
  605.           etc/rc.d/rc.xxxxx       others as required, see later on in this doc
  606.           root/.rhosts            if present
  607.           home/xxxx/xxxx          others as required
  608.  
  609.       WARNING:    The above procedure moves your password and shadow
  610.                   files onto the rescue disk!!!!!
  611.  
  612.       WARNING:    You may not wish to do this for security reasons.
  613.  
  614.   Create any directories for mounting /dev/disk... as may be required
  615.   that are unique to your system.  Mine need:
  616.  
  617.           cd /root/raidboot/mnt           <--- initrd root
  618.           mkdir dosa                      dos partition mount point
  619.           mkdir dosc                      dos mirror mount point
  620.  
  621.   The rescue file system is complete!
  622.  
  623.   You will note upon examination of the files in the rescue file system,
  624.   that there are still many files that could be deleted.  I have not
  625.   done this since it would overly complicate this procedure and most
  626.   raid systems have adequate disk and memory.  If you wish to skinny
  627.   down the file system, go to it!
  628.  
  629.   3.10.2.  Making initrd boot the RAID device - linuxrc
  630.  
  631.   To make the rescue disk boot the raid device, you need only copy the
  632.   executable script file:
  633.  
  634.        linuxrc
  635.  
  636.   to the root of the device.
  637.  
  638.   ---------------------- linuxrc --------------------
  639.   #!/bin/sh
  640.   # ver 1.07 2-12-98
  641.   # mount the proc file system
  642.   /bin/mount /proc
  643.  
  644.   # This may vary for your system.
  645.   # Mount the dos partitions, try both
  646.   # in case one disk is dead
  647.   /bin/mount /dosa
  648.   /bin/mount /dosc
  649.  
  650.   # Set a flag in case the raid status file is not found
  651.   # then check both drives for the status file
  652.   RAIDOWN="raidstat.ro not found"
  653.   /bin/echo "Reading md0 shutdown status."
  654.   if [ -f /dosa/linux/raidstat.ro ]; then
  655.     RAIDOWN=`/bin/cat /dosa/linux/raidstat.ro`
  656.     RAIDREF=`/bin/cat /dosc/linux/raidgood.ref`
  657.   else
  658.     if [ -f /dosc/linux/raidstat.ro ]; then
  659.       RAIDOWN=`/bin/cat /dosc/linux/raidstat.ro`
  660.       RAIDREF=`/bin/cat /dosc/linux/raidgood.ref`
  661.     fi
  662.   fi
  663.  
  664.   # Test for a clean shutdown with all disks operational
  665.   if [ "${RAIDOWN} != ${RAIDREF}" ]; then
  666.     echo "ERROR ${RAIDOWN}"
  667.   #  Use the next 2 lines to BAIL OUT and leave rescue running
  668.      /bin/echo 0x100>/proc/sys/kernel/real-root-dev
  669.      exit                 # leaving the error files in dosa/linux,etc...
  670.   fi
  671.  
  672.   # The raid array is clean, proceed by removing
  673.   # status file and writing a clean superblock
  674.   /bin/rm /dosa/linux/raidstat.ro
  675.   /bin/rm /dosc/linux/raidstat.ro
  676.   /sbin/mkraid /etc/raid1.conf -f --only-superblock
  677.  
  678.   /bin/umount /dosa
  679.   /bin/umount /dosc
  680.  
  681.   # Mount raid array
  682.   echo "Mounting md0, root filesystem"
  683.   /sbin/mdadd -ar
  684.  
  685.   #  If there are errors - BAIL OUT and leave rescue running
  686.   if [ $? -ne 0 ]; then
  687.      echo "RAID device has errors"
  688.   #  Use the next 3 lines to BAIL OUT
  689.      /bin/rm /etc/mtab            # remove bad mtab
  690.      /bin/echo 0x100>/proc/sys/kernel/real-root-dev
  691.      exit
  692.   fi
  693.  
  694.   # else tell the kernel to switch to /dev/md0 as the /root device
  695.   # The 0x900 value the device number calculated by:
  696.   #  256*major_device_number + minor_device number
  697.   /bin/echo 0x900>/proc/sys/kernel/real-root-dev
  698.  
  699.   # umount /proc to deallocate initrd device ram space
  700.   /bin/umount /proc
  701.   /bin/echo "/dev/md0 mounted as root"
  702.   exit
  703.   #------------------ end linuxrc ----------------------
  704.   Add 'linuxrc' to initrd boot device
  705.  
  706.           cd /root/raidboot
  707.           chmod 777 linuxrc
  708.           cp -p linuxrc mnt
  709.  
  710.   3.11.  Modifying the rc-scripts for SHUTDOWN
  711.  
  712.   To complete the installation, modify the rc scripts to save the md
  713.   status to the real root device when shutdown occurs.
  714.  
  715.   In slackware this is rc.0 -> rc.6
  716.  
  717.   I have modified Bohumil Chalupa's raid stop work-around slightly. His
  718.   original solution is presented in ``Appendix A''.
  719.  
  720.   Since there are no linux partitions left on the production system
  721.   except md0, the dos partitions are used to store the raidOK readonly
  722.   status.  I chose to write a file to each dos partition containing the
  723.   status of the md array at shutdown and signifying that the md device
  724.   has been remounted RO. This allows the system to be fail safe when one
  725.   of the hard drives dies.
  726.  
  727.   I modified my rc.6 script to attempt dismount of the root raid1 array
  728.   and any other raid device in mdtab. You may need slightly different
  729.   scripts, but the basics should be the same. The complete rc.6 file is
  730.   shown in ``Appendix B''.
  731.  
  732.   To capture the raid array shutdown status, just before the file
  733.   systems are dismounted insert:
  734.  
  735.           RAIDSTATUS=`/bin/cat /proc/mdstat | /usr/bin/grep md0`
  736.  
  737.   After all the file systems are dismounted (the root file system
  738.  
  739.           # root device remains mounted RO
  740.           # mount dos file systems RW
  741.           mount -n -o remount,ro /
  742.           echo "Writing RAID read-only boot FLAG(s)."
  743.           mount -n /dosa
  744.           mount -n /dosc
  745.           # create raid mounted RO flag in duplicate
  746.           # containing the shutdown status of the raid array
  747.           echo ${RAIDSTATUS} > /dosa/linux/raidstat.ro
  748.           echo ${RAIDSTATUS} > /dosc/linux/raidstat.ro
  749.  
  750.           umount -n /dosa
  751.           umount -n /dosc
  752.  
  753.           # Stop all the raid arrays (except root)
  754.           echo "Stopping raid"
  755.           mdstop -a
  756.  
  757.   This will cleanly stop all raid devices except root.  Root status is
  758.   passed to the next boot in raidstat.ro.
  759.  
  760.   Copy the rc file to your new raid array, the rescue file system that
  761.   is still mounted on /root/raidboot/mnt and the development system if
  762.   it is on the same machine.
  763.  
  764.   Modify rescue etc/fstab as needed and make sure rescue mdtab is
  765.   correct.
  766.  
  767.   Now copy the rescue disk to your dos partition and everything should
  768.   be ready to boot the raid device as root.
  769.  
  770.           umount mnt
  771.           losetup -d /dev/loop0
  772.           gzip -9 rescue
  773.  
  774.   Copy rescue.gz to your dos partition.
  775.  
  776.   All that remains is to test the new file system  by rebooting.  See
  777.   the loadlin parameters in my dos linux.bat file next.
  778.  
  779.   3.12.  Setting up loadlin boot for RESCUE and RAID
  780.  
  781.   The disks I chose for my system are much larger than those manageable
  782.   by lilo. Therefore, I used loadlin to boot the system from a small dos
  783.   partition with a mirror (copy) on the companion disk.
  784.  
  785.   My dos root system contains a small editor among the utilities so I
  786.   can modify the boot parameters of loadlin if necessary, allowing me to
  787.   reboot the linux system on my swap disk while testing.
  788.  
  789.   The dos system contains this tree for linux"
  790.  
  791.           c:\linux.bat
  792.           c:\linux\loadlin.exe
  793.           c:\linux\zimage
  794.           c:\linux\rescue.gz
  795.           c:\linux\raidgood.ref
  796.           c:\linux\raidstat.ro    (only at shutdown)
  797.  
  798.   ---------------------- linux.bat ---------------------------
  799.   rem  Sample DOS batch file to boot Linux.
  800.   rem  Start the LOADLIN process:
  801.  
  802.   rem c:\linux\loadlin c:\linux\zimage root=/dev/ram0 ro ramdisk_size=16384 initrd=c:\linux\rescue.gz mem=131072k
  803.   c:\linux\loadlin c:\linux\zimage root=/dev/md0 ro ramdisk_size=16384 initrd=c:\linux\rescue.gz mem=131072k
  804.  
  805.   rem -- this is my development system -- it goes away later
  806.   rem c:\linux\loadlin c:\linux\zimage root=/dev/hda3 ro noinitrd mem=131072k
  807.   ------------------------------------------------------------
  808.  
  809.   ***** >> NOTE!! the only difference between forcing the rescue system to
  810.               run and the raid device mounting, is the loadlin parameter
  811.  
  812.                   root=/dev/ram0          for the rescue system
  813.                   root=/dev/md0           for RAID
  814.  
  815.                   With root=/dev/ram0 the RAID device will not mount
  816.                   and the rescue system will run unconditionally.
  817.  
  818.   If the RAID array fails, the rescue system is left mounted and running
  819.   (this seems to fail sometimes, I don't know why, it works when the
  820.   reset button is pushed but does not work with 'shutdown -r now').
  821.  
  822.   4.  Configuring the Production RAID system.
  823.  
  824.   4.1.  System specs.
  825.  
  826.   Motherboard:    Iwill P55TU     dual ide + adaptec scsi
  827.   Processor:      Intel P200
  828.   Disks:          2 ea. Maxtor 7 gig eide
  829.  
  830.   The disk drives are designated by linux as 'hda' and 'hdc'
  831.  
  832.   4.2.  Partitioning the hard drives.
  833.  
  834.   Since testing a large root mountable RAID array is difficult because
  835.   of the re-boot problem, I re-partitioned my swap space to include a
  836.   smaller RAID partition for testing purposes.  You may find this
  837.   helpful.
  838.  
  839.           <bf/DEVELOPMENT SYSTEM/
  840.  
  841.     /dev/hda1     dos             16meg
  842.   * /dev/hda2     extended        126m
  843.     /dev/hda3     linux           126m    root partition during development
  844.     /dev/hda4     linux           6+gig   raid1
  845.   * /dev/hda5     linux            26m    test raid1
  846.   * /dev/hda6     linux swap      100m
  847.  
  848.     /dev/hdc1     is simply an exact copy of hda1 so the
  849.                   partion can be made active if hda fails
  850.   * /dev/hdc2     extended        126m
  851.     /dev/hdc3     linux           126m    /usr/src  during development
  852.     /dev/hdc4     linux           6+gig   raid1 mirror
  853.   * /dev/hdc5     linux            26m    test raid1 mirror
  854.   * /dev/hdc6     linux swap      100m
  855.  
  856.           <bf/PRODUCTION SYSTEM/
  857.  
  858.   /dev/hda1       dos             16meg
  859.   /dev/hda2       linux swap      126m
  860.   /dev/hda3       linux swap      126m
  861.   /dev/hda4       linux           6+gig   raid1
  862.  
  863.   /dev/hdc1       is simply an exact copy of hda1
  864.   /dev/hdc2       linux swap      126m
  865.   /dev/hdc3       linux swap      126m
  866.   /dev/hdc4       linux           6+gig   raid1 mirror
  867.  
  868.   The hdx3 partitions were switched to 'swap' after developing this
  869.   utility. I could have done it on another machine, however, the
  870.   libraries and kernels are all about a year or more out of date on my
  871.   other linux boxes and I preferred to build it on the target machine.
  872.  
  873.   I chose to partition this way and use lodlin rather than lilo because
  874.  
  875.   1. The main partition (6 gig) is to large to accomodate booting with
  876.      lilo alone and would have required an additional smaller partition
  877.      located within the first 1024 disk addresses.
  878.  
  879.   2. In the event that one drive fails catastrophically, the system must
  880.      continue to run and be bootable with minimum effort and NO data
  881.      loss.
  882.   ╖  If either hard drive fails, the boot will abort, and the rescue
  883.      system will run. Examination of the screen message or
  884.      /dosx/linux/raidstat.ro will tell the operator the status of the
  885.      failed array.
  886.  
  887.   ╖  If hda fails, the dos partition on hdc must be made 'active' and
  888.      the bios must recognize hdc as the boot device or it must be
  889.      physically be moved to the hda position by re-cableing.  The raid
  890.      system can then be made active again by removing the failed drive
  891.      and issuing:
  892.  
  893.               "/sbin/mkraid /etc/raid1.conf -f --only-superblock"
  894.  
  895.   to rebuild the remaining superblock.
  896.  
  897.   ╖  Once this is done, then
  898.  
  899.              mdadd -ar
  900.  
  901.   ╖  Examine the status of the array to verify that everything is OK
  902.      then replace the good array reference with the current status until
  903.      the failed disk can be repaired or replaced.
  904.  
  905.              cat /proc/mdstat | grep md0 > /dosa/linux/raidgood.ref
  906.  
  907.              shutdown -r now
  908.  
  909.   to do a clean reboot, and the system is up again.
  910.  
  911.   5.  Building the RAID file system.
  912.  
  913.   This description is for my RAID1 system described in the system specs.
  914.   Your system may have a different RAID architecture, so modify as
  915.   appropriate. Please read the man pages and QuickStart.RAID that come
  916.   with the raidtools-0.42 My /etc/raid1.conf contains:
  917.  
  918.           # raid-1 configuration
  919.           raiddev                 /dev/md0
  920.           raid-level              1
  921.           nr-raid-disks           2
  922.           nr-spare-disks          0
  923.  
  924.           device                  /dev/hda4
  925.           raid-disk               0
  926.  
  927.           device                  /dev/hdc4
  928.           raid-disk               1
  929.  
  930.   5.1.  Step by Step procedures for building production RAID file sys¡
  931.   tem.
  932.  
  933.   For my RAID1 system I did a complete install of:
  934.  
  935.           Slackware-3.4
  936.           linuxthreads-0.71
  937.           raidtools-0.42
  938.           linux-2.0.32 with raid145 patch
  939.  
  940.   Create and format the raid device.
  941.  
  942.           mkraid /etc/raid1.conf
  943.           mdcreate raid1 /dev/md0 /dev/hda4 /dev/hdc4
  944.           mdadd -ar
  945.           mke2fs /dev/md0
  946.           mkdir /md
  947.           mount -t ext2 /dev/md0 /md
  948.  
  949.   Create the reference files that reboot will use, this may be different
  950.   on your system.
  951.  
  952.           cat /proc/mdstat | grep md0 > /dosa/linux/raidgood.ref
  953.           cat /proc/mdstat | grep md0 > /dosc/linux/raidgood.ref
  954.  
  955.   Use Slackware-3.4 or another distribution to build your OS
  956.  
  957.           setup
  958.  
  959.   Specify '/md' as the target, and the source whatever your normally
  960.   use.  Select and install the disksets of interest except for the ker¡
  961.   nel.  Configure the system, but skip the section on lilo and kernel
  962.   booting.  Exit setup.
  963.  
  964.   Install 'pthreads'
  965.  
  966.           cd /usr/src/linuxthreads-0.71
  967.  
  968.   edit the Makefile and specify
  969.  
  970.           BUILDIR=/md
  971.  
  972.           make
  973.           make install
  974.  
  975.   Install 'raidtools'
  976.  
  977.           cd /usr/src/raidtools-0.42
  978.           configure --sbindir=/md/sbin --prefix=/md/usr
  979.  
  980.   fix the raidtools make install error
  981.  
  982.           cd /md/sbin
  983.           rm mdrun
  984.           rm mdstop
  985.           ln -s mdadd mdrun
  986.           ln -s mdadd mdstop
  987.  
  988.   Create /dev/mdx
  989.  
  990.           cp -a /dev/md* /md/dev
  991.  
  992.   Add the system configuration from the current system (ignore errors).
  993.  
  994.           cp -dp /etc/* mnt/etc
  995.           cp -dp /etc/rc.d/* mnt/etc/rc.d         (include the new rc.6)
  996.           mkdir  mnt/lib/modules
  997.           cp -a  /lib/modules/2.x.x mnt/lib/modules <--- your current 2.x.x
  998.  
  999.   Edit the following files to correct them for your file system
  1000.  
  1001.           cd /md
  1002.  
  1003.   Non-network
  1004.           etc/fstab       correct for real root and raid devices.
  1005.           etc/mdtab       should work OK
  1006.   Network
  1007.           etc/hosts
  1008.           etc/resolv.conf
  1009.           etc/hosts.equiv         and related files
  1010.           etc/rc.d/rc.inet1       correct ip#, mask, gateway, etc...
  1011.           etc/rc.d/rc.S           remove entire section on file system status
  1012.                   from:
  1013.                           # Test to see if the root partition isread-only
  1014.                   to but not including:
  1015.                           # remove /etc/mtab* so that mount will .....
  1016.                                   This avoids the annoying warning that
  1017.                                   the ramdisk is mounted rw.
  1018.           etc/rc.d/rc.xxxxx       others as required
  1019.           root/.rhosts            if present
  1020.           home/xxxx/xxxx          others as required
  1021.  
  1022.       WARNING:    The above procedure moves your password and shadow
  1023.                   files onto the new file system!!!!!
  1024.  
  1025.       WARNING:    You may not wish to do this for security reasons.
  1026.  
  1027.   Create any directories for mounting /dev/disk... as may be required
  1028.   that are unique to your system.  Mine need:
  1029.  
  1030.           cd /md          <--- new file system root
  1031.           mkdir dosa                      dos partition mount point
  1032.           mkdir dosc                      dos mirror mount point
  1033.  
  1034.   The new file system is complete. Make sure and save the md reference
  1035.   status to the 'real' root device and you are ready to boot.
  1036.  
  1037.   mount the dos partitions on dosa and dosc
  1038.  
  1039.           cat /proc/mdstat | grep md0 > /dosa/linux/raidgood.ref
  1040.           cat /proc/mdstat | grep md0 > /dosc/linux/raidgood.ref
  1041.  
  1042.           mdstop /dev/md0
  1043.  
  1044.   6.  One last thought.
  1045.  
  1046.   Remember that an expert is someone who knows at least 1% more than you
  1047.   do about a subject.  Bear this in mind when you e-mail me for help.
  1048.   I'll try, but I've only done this once!
  1049.  
  1050.   Michael Robinton Michael@bzs.org <mailto:michael@bzs.org>
  1051.  
  1052.   7.  Appendix A. - Bohumil Chalupa's md0 shutdown
  1053.  
  1054.   Bohumil Chalupa's post to the linux raid list on the work around for
  1055.   the raid1 + 5 mdstop problem. His solution does not address the
  1056.   possibility of the raid device being corrupt at shutdown.  So I have
  1057.   added a simple status comparison to a good reference status at boot.
  1058.   This allows the operator to intervene if something is wrong with a
  1059.   disk in the array. The description of this is in the main body of this
  1060.   document.
  1061.  
  1062.   > From: Bohumil Chalupa <bochal@apollo.karlov.mff.cuni.cz>
  1063.   >
  1064.   > I can now boot initrd and use linuxrc to start the RAID1 array,
  1065.   > then successfully switch root to /dev/md0.
  1066.   >
  1067.   > I don't know, however, any way how to cleanly _stop_ the array.
  1068.  
  1069.   Well. I have to answer myself :-)
  1070.  
  1071.   > Date: Mon, 29 Dec 1997 02:21:38 -0600 (CST)
  1072.   > From: Edward Welbon <welbon@bga.com>
  1073.   > Subject: Re: dismounting root raid device
  1074.   >
  1075.   > For md devices other than raid0, there is probably state that needs to
  1076.   > be saved that is only known once all writes have completed.  Such state
  1077.   > of course can't be saved to root once it is mounted readonly.  In that
  1078.   > case, you would have to be able to mount a writeable filesystem "X"
  1079.   > on the readonly root and be able to write to "X" (I recall doing this
  1080.   > during "rescue" operations, but not as an automated procedure).
  1081.   >
  1082.   > The filesystem "X" would presumably be a boot device from which the raid
  1083.   > (during linuxrc exection via initrd) would pickup it's initial state from.
  1084.   > Fortunately raid0 isn't required to write out any state (though it would
  1085.   > be pleasant to be able to write the check sums to mdtab after an mdstop).
  1086.   > Eventually, I will fiddle with this but it doesn't seem difficult though
  1087.   > the "devil" is always in the "details".
  1088.  
  1089.   Yes, that's it.
  1090.   I had this idea in mind for some time already, but had no time to try it.
  1091.   Yesterday I did, and it works.
  1092.  
  1093.   With my RAID1 (mirror), I don't save any checksums or raid superblock data.
  1094.   I only save an information on the "real" boot partition, that the root md
  1095.   volume was remounted readonly during shutdown. Then, during boot, the
  1096.   linuxrc script runs mkraid --only-superblock  when it finds this
  1097.   information; otherwise, it runs ckraid.
  1098.   This means, that the raid superblock information is not updated during
  1099.   shutdown; it's updated at the boot time.
  1100.   It is not very clean, I'm afraid,  :-(   but it works.
  1101.  
  1102.   I'm using Slackware and initrd.md by Edward Welbon to boot the root raid
  1103.   device.
  1104.   As far as I remember now, the only modified files are
  1105.   mkdisk and linuxrc, and /etc/rc.d/rc.6 shutdown script.
  1106.   And lilo.conf, of course.
  1107.  
  1108.   I'm appending the important parts.
  1109.  
  1110.   Bohumil Chalupa
  1111.  
  1112.   --------------- my.linuxrc follows -----------------
  1113.   #!/bin/sh
  1114.   # we need /proc
  1115.   /bin/mount /proc
  1116.   # start up the md0 device. let the /etc/rc.d scripts get the rest of them
  1117.   # we should do as little as possible here
  1118.   # ________________________________________
  1119.   # root raid1 shutdown test & recreation
  1120.   # /start must be created on the rd image in my.mkdisk
  1121.   echo "preparing md0: mounting /start"
  1122.   /bin/mount /dev/sda2 /start -t ext2
  1123.   echo "reading saved md0 state from /start"
  1124.   if [ -f /start/root.raid.ok ]; then
  1125.    echo "raid ok, modyfying superblock"
  1126.    rm /start/root.raid.ok
  1127.    /sbin/mkraid /etc/raid1.conf -f --only-superblock
  1128.   else
  1129.    echo "raid not clean, runing ckraid --fix"
  1130.    /sbin/ckraid --fix /etc/raid1.conf
  1131.   fi
  1132.   echo "unmounting /start"
  1133.   /bin/umount /start
  1134.   # _________________________________________
  1135.   #
  1136.   echo "adding md0 for root file system"
  1137.   /sbin/mdadd /dev/md0 /dev/sda1 /dev/sdb1
  1138.   echo "starting md0"
  1139.   /sbin/mdrun -p1 /dev/md0
  1140.   # tell kernel we want to switch to /dev/md0 as root device, the 0x900 value
  1141.   # is arrived at via 256*major_device_number + minor_device number.
  1142.   echo "setting real-root-dev"
  1143.   /bin/echo 0x900>/proc/sys/kernel/real-root-dev
  1144.   #  unmount /proc so that the ram disk can be deallocated.
  1145.   echo "unmounting /proc"
  1146.   /bin/umount /proc
  1147.   /bin/echo "We are hopefully ready to mount /dev/md0 (major 9, minor 0) as
  1148.   root"
  1149.   exit
  1150.   --------------- end of my.linuxrc ----------------------------------
  1151.  
  1152.   ----------- extract from /etc/rc.d/rc.6 follows -----------------
  1153.     # Turn off swap, then unmount local file systems.
  1154.     echo "Turning off swap."
  1155.     swapoff -a
  1156.     echo "Unmounting local file systems."
  1157.     umount -a -tnonfs
  1158.     # Don't remount UMSDOS root volumes:
  1159.     if [ ! "`mount | head -1 | cut -d ' ' -f 5`" = "umsdos" ]; then
  1160.       mount -n -o remount,ro /
  1161.     fi
  1162.  
  1163.     # Save raid state
  1164.     echo "Saving RAID state"
  1165.     /bin/mount -n /dev/sda2 /start -t ext2
  1166.     touch /start/root.raid.ok
  1167.     /bin/umount -n /start
  1168.  
  1169.   -------------- end of excerpt from rc.6 ------------------------
  1170.  
  1171.   ------------------ part of my.mkdisk follows ----------------------
  1172.   #
  1173.   #  now we have the filesystem ready to be populated, we need to
  1174.   #  get a few important directories.  I had endless trouble till
  1175.   #  I created a pristine mtab.  In my case, it is convenient that
  1176.   #  /etc/mdtab is copied over, this way I can activate md with
  1177.   #  a simple "/sbin/mdadd -ar" in linuxrc.
  1178.   #
  1179.   cp -a $ROOT/etc $MOUNTPNT 2>cp.stderr 1>cp.stdout
  1180.   rm -rf $MOUNTPNT/etc/mtab
  1181.   rm -rf $MOUNTPNT/etc/ppp*
  1182.   rm -rf $MOUNTPNT/etc/termcap
  1183.   rm -rf $MOUNTPNT/etc/sendmail*
  1184.   rm -rf $MOUNTPNT/etc/rc.d
  1185.   rm -rf $MOUNTPNT/etc/dos*
  1186.   cp -a $ROOT/sbin $ROOT/dev $ROOT/lib $ROOT/bin $MOUNTPNT 2>>cp.stderr
  1187.   1>>cp.stdout
  1188.   # _____________________________________________________________________
  1189.   #  RAID: will need mkraid and ckraid
  1190.   cp -a $ROOT/usr/sbin/mkraid $ROOT/usr/sbin/ckraid $MOUNTPNT/sbin
  1191.   2>>cp.stderr 1>>cp.stdout
  1192.   # ---------------------------------------------------------------------
  1193.   #  it seems that init wont come out to play unless it has utmp.   this can
  1194.   #  probably be pruned back alot.  no telling what the real bug was 8-).
  1195.   #
  1196.   mkdir $MOUNTPNT/var $MOUNTPNT/var/log $MOUNTPNT/var/run $MOUNTPNT/initrd
  1197.   touch $MOUNTPNT/var/run/utmp $MOUNTPNT/etc/mtab
  1198.   chmod a+r $MOUNTPNT/var/run/utmp $MOUNTPNT/etc/mtab
  1199.   ln -s /var/run/utmp $MOUNTPNT/var/log/utmp
  1200.   ln -s /var/log/utmp $MOUNTPNT/etc/utmp
  1201.   ls -lstrd $MOUNTPNT/etc/utmp $MOUNTPNT/var/log/utmp $MOUNTPNT/var/run/utmp
  1202.   #
  1203.   #  since I wanted to change the mount point, I needed this though
  1204.   #  I suppose that I could have done a "mkdir /proc" in linuxrc.
  1205.   #
  1206.   mkdir $MOUNTPNT/proc
  1207.   chmod 555 $MOUNTPNT/proc
  1208.   #
  1209.   #  ------------------------------------------------------
  1210.   #  we'll mount the real boot device to /start temporarily
  1211.   #  to check the root raid state saved at shutdown time
  1212.   #
  1213.   mkdir $MOUNTPNT/start
  1214.   #  -------------------------------------------------------
  1215.   #
  1216.   #  need linuxrc  (it is, after all, the point of this exercise).
  1217.   #
  1218.   if [ -x ./my.linuxrc ]; then
  1219.     cp -a ./my.linuxrc $MOUNTPNT/linuxrc
  1220.     chmod 777 $MOUNTPNT/linuxrc
  1221.   else
  1222.      ln -s /bin/sh $MOUNTPNT/linuxrc
  1223.   fi
  1224.   #
  1225.   ----------------- part of my.mkdisk ends -----------------
  1226.  
  1227.   8.  Appendix B. - complete rc.0 -> rc.6 file
  1228.  
  1229.   #! /bin/sh
  1230.   #
  1231.   # rc.6          This file is executed by init when it goes into runlevel
  1232.   #               0 (halt) or runlevel 6 (reboot). It kills all processes,
  1233.   #               unmounts file systems and then either halts or reboots.
  1234.   #
  1235.   # Version:      @(#)/etc/rc.d/rc.6      1.50    1994-01-15
  1236.   #
  1237.   # Author:       Miquel van Smoorenburg <miquels@drinkel.nl.mugnet.org>
  1238.   # Modified by:  Patrick J. Volkerding, <volkerdi@ftp.cdrom.com>
  1239.   # Modified by:  Michael A. Robinton, <michael@bzs.org> for RAID shutdown
  1240.  
  1241.     # Set the path.
  1242.     PATH=/sbin:/etc:/bin:/usr/bin
  1243.  
  1244.     # Set linefeed mode to avoid staircase effect.
  1245.     stty onlcr
  1246.  
  1247.     echo "Running shutdown script $0:"
  1248.  
  1249.     # Find out how we were called.
  1250.     case "$0" in
  1251.           *0)
  1252.                   message="The system is halted."
  1253.                   command="halt"
  1254.                   ;;
  1255.           *6)
  1256.                   message="Rebooting."
  1257.                   command=reboot
  1258.                   ;;
  1259.           *)
  1260.                   echo "$0: call me as \"rc.0\" or \"rc.6\" please!"
  1261.                   exit 1
  1262.                   ;;
  1263.     esac
  1264.  
  1265.     # Kill all processes.
  1266.     # INIT is supposed to handle this entirely now, but this didn't always
  1267.     # work correctly without this second pass at killing off the processes.
  1268.     # Since INIT already notified the user that processes were being killed,
  1269.     # we'll avoid echoing this info this time around.
  1270.     if [ "$1" != "fast" ]; then # shutdown did not already kill all processes
  1271.       killall5 -15
  1272.       killall5 -9
  1273.     fi
  1274.  
  1275.     # Try to turn off quota and accounting.
  1276.     if [ -x /usr/sbin/quotaoff ]
  1277.     then
  1278.           echo "Turning off quota."
  1279.           /usr/sbin/quotaoff -a
  1280.     fi
  1281.     if [ -x /sbin/accton ]
  1282.     then
  1283.           echo "Turning off accounting."
  1284.           /sbin/accton
  1285.     fi
  1286.  
  1287.     # Before unmounting file systems write a reboot or halt record to wtmp.
  1288.     $command -w
  1289.  
  1290.     # Save localtime
  1291.     [ -e /usr/lib/zoneinfo/localtime ] && cp /usr/lib/zoneinfo/localtime /etc
  1292.  
  1293.     # Asynchronously unmount any remote filesystems:
  1294.     echo "Unmounting remote filesystems."
  1295.     umount -a -tnfs &
  1296.  
  1297.     # you must have issued
  1298.     # 'cat /proc/mdstat | grep md0 > {your boot vol}/linux/raidgood.ref'
  1299.     # before linuxrc will execute properly with this info
  1300.     RAIDSTATUS=`/bin/cat /proc/mdstat | /usr/bin/grep md0 # capture raid status`
  1301.  
  1302.     # Turn off swap, then unmount local file systems.
  1303.     # clearing mdtab as well
  1304.     echo "Turning off swap."
  1305.     swapoff -a
  1306.     echo "Unmounting local file systems."
  1307.     umount -a -tnonfs
  1308.  
  1309.     # Don't remount UMSDOS root volumes:
  1310.     if [ ! "`mount | head -1 | cut -d ' ' -f 5`" = "umsdos" ]; then
  1311.       mount -n -o remount,ro /
  1312.     fi
  1313.  
  1314.     # root device remains mounted
  1315.     # mount dos file systems RW
  1316.     echo "Writing RAID read-only boot FLAG(s)."
  1317.     mount -n /dosa
  1318.     mount -n /dosc
  1319.     # create raid mounted RO flag in duplicate
  1320.     # containing the shutdown status of the raid array
  1321.     echo ${RAIDSTATUS} > /dosa/linux/raidstat.ro
  1322.     echo ${RAIDSTATUS} > /dosc/linux/raidstat.ro
  1323.  
  1324.     umount -n /dosa
  1325.     umount -n /dosc
  1326.  
  1327.     # Stop all the raid arrays (except root)
  1328.     echo "Stopping raid"
  1329.     mdstop -a
  1330.  
  1331.     # See if this is a powerfail situation.
  1332.     if [ -f /etc/power_is_failing ]; then
  1333.       echo "Turning off UPS, bye."
  1334.       /sbin/powerd -q
  1335.       exit 1
  1336.     fi
  1337.  
  1338.     # Now halt or reboot.
  1339.     echo "$message"
  1340.     [ ! -f /etc/fastboot ] && echo "On the next boot fsck will be FORCED."
  1341.     $command -f
  1342.  
  1343.